Ông sinh ngày 28 tháng 5 năm 1900 năm tại làng Thịnh Mỹ, xã Cao Xá, phủ Diễn Châu, tỉnh Nghệ An, trong một gia đình dòng dõi khoa bảng danh gia. Ông nội ông là Cao Xuân Dục. Cha ông là Cao Xuân Tiếu (1865-1939), đậu phó bảng khoa thi 1895, giữ chức thượng thư, Hiệp biện đại học sĩ kiêm Tổng tài Quốc sử quán triều nhà Nguyễn. Anh trai ông là Cao Xuân Tạo (1892-1935).

Năm 1906, ông bắt đầu học chữ Hán với thầy của gia đình và được ông nội (là cụ Cao Xuân Dục, khi đấy là Tổng tài Quốc sử quán) rèn cặp. Năm 1915, ông thi Hương tại trường thi Nghệ An. Sau đó, ông đến Huế theo học bậc Thành chung và tốt nghiệp năm 1922. Sau đó, ông theo học trường Cao đẳng sư phạm Đông Dương và tốt nghiệp năm 1925. Sau khi tốt nghiệp, ông bước vào cuộc đời dạy học trong 55 năm chỉ gián đoạn chút ít.

Cũng trong năm 1925, cụ Phan Bội Châu bị thực dân Pháp bắt giam. Nhiều phong trào đấu tranh chính trị đòi thả cụ Phan. Vốn sinh trưởng trong một gia đình có truyền thống yêu nước và chống Pháp, ông cũng bắt đầu tham gia hoạt động cách mạng. Khi đó, ông đang dạy ở Trường Quốc học Huế. Năm 1926, ông gia nhập Tân Việt Cách mạng đảng.

Năm 1927, thực dân Pháp tấn công đảng Tân Việt. Ông bị giải chức, đày ra Lao Bảo, sau đó giải về Nghệ An mãi đến năm 1929 mới được thả, ông về làm công tạm cho nhà in Đắc Lập, Huế. Từ năm 1935, ông vào Sài Gòn dạy tư thục Trung học Paul Doumer và Trung học Chấn Thanh. Năm 1938, thầy trở ra Huế dạy tư thục Hồ Đắc Hàm, Việt Anh, Thuận Hóa và tham gia viết báo tiếng Pháp: Revue pédagogique.

Năm 1945, ông được Chính phủ Lâm thời Việt Nam Dân chủ Cộng hòa mời ra Hà Nội dạy môn triết học phương Đông tại trường Đại học Việt Nam. Trường này đóng cửa sau 3 tháng vì tình hình chính trị Việt - Pháp căng thẳng.

Sau khi chiến tranh nổ ra, ông trở về quê nhà và được cử làm hiệu trưởng trung học Nguyễn Xuân Ôn, Diễn Châu, Nghệ An. Trường năng khiếu huyện Diễn Châu mang tên ông, Cùng thời gian này, ông còn kiêm các chức vụ quan trọng như giáo viên dạy văn học và dạy Pháp văn, giáo viên trường trung học chuyên khoa Huỳnh Thúc Kháng, giáo sư triết học của lớp Đại học Văn khoa đầu tiên ở vùng Thanh - Nghệ.

Năm 1949, ông là giáo sư triết học của lớp Đại học Văn khoa đầu tiên do Bộ Giáo dục nước Việt Nam Dân chủ Cộng hòa thành lập tại vùng tự do Liên khu IV. Lớp có 7 học sinh tốt nghiệp trung học chuyên khoa.

Năm 1951, ông được mời làm Giáo sư Trường Dự bị Đại học Việt Nam tại Thanh Hóa. Tháng 12 năm 1954, ông được điều về Hà Nội giảng dạy môn triết học phương Đông, môn logic học và môn tâm lý học cho lớp Đại học Văn khoa (tiền thân của khoa văn ngữ, trường Đại học Tổng hợp Hà Nội và trường Đại học sư phạm Hà Nội. Năm 1957, ông được mời sang khoa ngữ văn, trường Đại học Sư phạm Hà Nội, giảng dạy môn tâm lý học. Năm 1958, ông được phong chức Giáo sư.

Cũng trong năm 1958, vì có liên quan đến hoạt động của nhóm Nhân Văn - Giai Phẩm, ông bị đình chỉ nhiệm vụ. Đến năm 1959, Viện Văn học thành lập, ông được cử làm Trưởng ban Hán - Nôm, rồi Trưởng ban văn học cổ đại Việt Nam của Viện. Năm 1965, ông là giáo sư chính, giảng dạy môn triết học cho lớp đại học Hán Nôm tại Hà Nội, chịu trách nhiệm đào tạo lớp chuyên tu Hán Nôm trên đại học (1972-1974). Năm 1972, ông là chủ khảo kỳ thi tốt nghiệp 4 năm của Viện Văn Học.

Trong thời gian ở ban Hán Nôm, ông được mời thỉnh giảng ở khoa ngữ văn trường Đại học Tổng hợp Hà Nội, trường Đại học Sư phạm Hà Nội, trường Đại học Y - Dược Hà Nội, Viện Đông Y Việt Nam.

Năm 1974, ông nghỉ hưu. Ông mất tại Thành phố Hồ Chí Minh ngày 22 tháng 10 năm 1983, thọ 83 tuổi.